科学发现也有Scaling Laws：agent+具身机器人，击败人类顶尖科学家？
科学发现也有Scaling Laws：agent+具身机器人，击败人类顶尖科学家？自主通才科学家的 5 个层级。
来自主题: AI资讯
7999 点击 2025-04-14 14:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
自主通才科学家的 5 个层级。
AI Agent 领域也存在 scaling law，甚至还在加速。
由于 DeepSeek R1 和 OpenAI o1 等推理模型（LRM，Large Reasoning Model）带来了新的 post-training scaling law，强化学习（RL，Reinforcement Learning）成为了大语言模型能力提升的新引擎。然而，针对大语言模型的大规模强化学习训练门槛一直很高：
在GTC2025大会上，NVIDIA依旧延续着“算力的故事”。如果AI的发展依旧遵循着scaling law（规模定律），那么这个故事还能继续讲下去。
谷歌团队发现了全新Scaling Law！新方法DiLoCo被证明更好、更快、更强，可在多个数据中心训练越来越大的LLM。
近年来，大语言模型 LLMs 在多种任务上的卓越表现已得到广泛认可。然而，要实现其高效部署，精细的超参数优化至关重要。为了探究最佳超参数的规律，我们开展了大规模的实证研究，通过在不同配置上进行网格搜索，我们揭示了一套通用的最优超参数缩放定律（Optimal Hyperparameter Scaling Law）。
谷歌发布了1000亿文本-图像对数据集，是此前类似数据集的10倍，创下新纪录！基于新数据集，发现预训练Scaling Law，虽然对模型性能提升不明显，但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋！
DeepSeek和xAI相继用R1和Grok-3证明：预训练Scaling Law不是OpenAI的护城河。将来95%的算力将用在推理，而不是现在的训练和推理各50%。OpenAI前途不明，生死难料！
在 Scaling Law 背景下，预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉，缺乏全面和明确的指导方针。在此背景下，该研究提出了一个数据管理器 DataMan，其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。
当 Scaling Law 在触顶边界徘徊之时，强化学习为构建更强大的大模型开辟出了一条新范式。